Gambaran Umum dan Lanskap Evolusi Arsitektur

Kita beralih dari keberhasilan dasar AlexNet menuju era jaringan saraf dalam yang sangat dalam Jaringan Saraf Konvolusional (CNNs). Perpindahan ini mewajibkan inovasi arsitektur yang mendalam untuk mengelola kedalaman ekstrem sambil tetap menjaga stabilitas pelatihan. Kita akan menganalisis tiga arsitektur penting—VGG, GoogLeNet (Inception), dan ResNet—memahami bagaimana masing-masing menyelesaikan aspek-aspek berbeda dari masalah skalabilitas, membentuk dasar bagi interpretasi model yang ketat di pertemuan selanjutnya.

1. Kesederhanaan Struktural: VGG

VGG memperkenalkan paradigma memaksimalkan kedalaman menggunakan ukuran kernel yang sangat seragam dan kecil (secara eksklusif filter konvolusional 3x3bertumpuk). Meskipun secara komputasi mahal, keseragaman struktur VGG membuktikan bahwa kedalaman mentah, yang dicapai melalui variasi arsitektur minimal, merupakan pendorong utama peningkatan kinerja, memperkuat pentingnya bidang tanggapan kecil.

2. Efisiensi Komputasi: GoogLeNet (Inception)

GoogLeNet mengatasi biaya komputasi tinggi VGG dengan menekankan efisiensi dan ekstraksi fitur multi-skala. Inovasi intinya adalah Modul Inception, yang melakukan konvolusi paralel (1x1, 3x3, 5x5) dan pooling. Secara krusial, modul ini menggunakan konvolusi 1x1 sebagai bottleneckuntuk secara dramatis mengurangi jumlah parameter dan kompleksitas komputasi sebelum operasi yang mahal.

Tantangan Teknik Utama

Pembelajaran Residual: ResNet

ResNet menyelesaikan masalah degradasi dengan memperkenalkan pemetaan identitas (koneksi skip). Shortcut non-sekuensial ini memungkinkan jaringan belajar fungsi residual $F(x)$ alih-alih pemetaan langsung $H(x)$, secara efektif memastikan bahwa penambahan lapisan lebih banyak hanya dapat meningkatkan atau mempertahankan kinerja, secara dramatis meningkatkan stabilitas optimasi.

Diagram showing a ResNet skip connection architecture

Pertanyaan 1

Arsitektur mana yang menekankan keseragaman struktural dengan menggunakan filter 3x3 terutama untuk memaksimalkan kedalaman?

AlexNet

VGG

GoogLeNet

ResNet

Pertanyaan 2

Konvolusi 1x1 terutama digunakan dalam Modul Inception untuk tujuan dasar apa?

Meningkatkan resolusi peta fitur

Aktivasi non-linier

Reduksi dimensi (bottleneck)

Perhatian spasial

Tantangan Kritis: Gradient yang Menghilang

Solusi Teknik untuk Optimasi

Jelaskan bagaimana pemetaan identitas ResNet secara mendasar menangani masalah gradient yang menghilang, melebihi teknik seperti inisialisasi bobot yang diperbaiki atau Normalisasi Batch.

Jelaskan mekanisme di mana koneksi skip menstabilkan aliran gradient selama proses backpropagation.

Solusi:
Koneksi skip memperkenalkan istilah identitas ($+x$) ke dalam output, menciptakan istilah tambahan dalam jalur turunan ($\frac{\partial Loss}{\partial H} = \frac{\partial Loss}{\partial F} + 1$). Istilah ini memastikan jalur langsung bagi sinyal gradient mengalir mundur, menjamin bahwa bobot hulu menerima sinyal gradient yang tidak nol dan dapat digunakan, terlepas dari betapa kecilnya gradient melalui fungsi residual $F(x)$ menjadi.